検証可能性 Testability

レプリケーション駆動な研究

研究が社会科学足るために再現性はその要件である

• 研究が検証可能であるためには, 研究者はその再現性を保証しなくてはいけない
• AER, Data and Code Availability Policy

レプリケーションは研究の前提であり, 過程であり, ゴールである

• 研究の過程においてレプリケーション可能な操作のみを行うべき
• そして研究者間のコミュニケーションコストを下げ, 研究を促進する

なぜ彼のコードは私のPCで動かないのか?

• パスが異なる
  • 常にパスをhere::here()で対応可能. Pythonの場合 pyprojroot.here()
• パッケージのバージョンが異なる
  • renvを用いてバージョンを記録する. Pythonの場合 venv, poetry など
• Rのバージョンが異なる
  • renvはRのバージョンを切り替えることができないので, 手動で切り替えるか常に最新版を用いるなどで対応
  • Pythonの場合は各種パッケージ管理ツールで対応可能
• OSが異なる
  • 特定のOSに特有のバグなどが発生しうる

バーチャルマシンとレプリケーション

• コードと同時にVMを配布することで, 環境の違いを解消できる
• しかしVMはファイルサイズが大きい, 実行速度が遅いなどの問題があった

Linuxとは

Linuxディストリビューション

Dockerの仕組み

イメージとレジストリ

Docker イメージ

• コンテナの元となるテンプレート
  • OS単体 (ubuntu, alpine)
  • OS + アプリケーション (rocker/rstudio)
• USER/IMAGE:TAG で指定する. TAGを省略するとlatestが指定される

Docker レジストリ

• イメージを保存する場所
• 基本的にはDocker Hubを用いる.
  • Officialイメージ (ubuntu, rocker, node, jupyter, etc.)
  • 自作イメージをアップロードもできる
• その他, GitHub Container Registry, Amazon Elastic Container Registry など

VSCode & Docker

なぜVSCodeを使うのか?

• VSCodeは軽量かつ高機能なエディタ. エディタの現王者といって過言ではない
• Remote Containersの登場によってDocker環境の導入が革命的に簡単になった

Handson

0. (Windows) VSCode上で Ctrl-Shift-P を押してWSL: Connect to WSLを選択
1. ハンズオン用のフォルダを作成. (ファインダー, エクスプローラ, コマンドなど).
2. VSCodeでフォルダを開く. 左端の のアイコンから
3. Docker Desktopが起動していることを確認 (のマーク)
4. VSCodeでCtrl-Shift-Pを押してFrom a predefined...を選択. Ubuntuを選択
   • 残りの選択肢はデフォルトのままでOK
5. .devcontainer/devcontainer.jsonという設定ファイルが作成される.

Dockerfile

• 先程のHandsonは既存のUbuntuイメージを利用した
• 通常は既存のイメージに必要なソフトやパッケージを追加する
• Dockerfileはその設計図. 拡張子がないことに注意

FROM ubuntu

ENV DEBIAN_FRONTEND noninteractive

RUN apt update && apt install -y curl

• FROM: ベースとなるイメージを指定
• ENV: 環境変数を設定. Ubuntuの場合はDEBIAN_FRONTENDはこの設定が必要
• RUN: シェルコマンドを実行
  • apt update: パッケージリストを更新
  • apt install: パッケージインストール (-y はすべてに自動でyesを返す)

Handson: Remote containers with Dockerfile

1. VSCodeでCtrl-Shift-Pを押してReopen Folder in WSL/Locallyを選択
2. .devcontainer/devcontainer.jsonを一度削除する
3. 以下のDockerfileを作成する

FROM ubuntu

ENV DEBIAN_FRONTEND noninteractive

RUN apt update && apt install -y git

4. VSCodeでCtrl-Shift-Pを押してReopen in Containerを選択
   • Dockerfileを選択する
5. ターミナルを開いてユーザー名を確認する (whoami)

ユーザとパーミッション

ユーザ, グループ, Root

• Linuxではユーザごとにファイルの権限 (読み取り, 書き込み, 実行) が設定されている
• ユーザはグループに所属する. グループごとに権限を設定することもできる
• rootユーザ (管理者) はすべてのファイルにアクセスできる

Dockerとユーザ

• Dockerでは通常, rootユーザでコンテナが起動する
• Docker上で作業したファイルがroot権限で作成される
• LinuxとWSL2ユーザーはホスト側からファイルにアクセスできなくなる
• 一つの解決策として, Dockerfile内でユーザを作成するという方法がある

Handson: Remote Containers with a User

1. VSCodeでCtrl-Shift-Pを押してReopen Folder in WSL/Locallyを選択
2. 以下のDockerfileを作成する

FROM ubuntu

ENV DEBIAN_FRONTEND noninteractive

RUN apt update && apt install -y git

ARG USERNAME=vscode
ARG USER_UID=1000
ARG USER_GID=$USER_UID

RUN groupadd --gid $USER_GID $USERNAME \
    && useradd --uid $USER_UID --gid $USER_GID -m $USERNAME

USER $USERNAME

3. .devcontainer/devcontainer.jsonのremoteUserをvscodeに変更する
4. VSCodeでCtrl-Shift-Pを押してRebuild and Reopen in Containerを選択
5. ターミナルを開いてユーザー名を確認する (whoami)

rockerプロジェクト

• rockerはオフィシャルのRイメージ群
• 私はRのライブラリはキャッシュする (後述) ので, rocker/rstudioまたはrocker/geospatialを使うことが多い
• rstudioというユーザが用意されている

ポートフォワーディング

• Docker内のRStudio Serverはホストのブラウザからはアクセスできない
• ポートフォワーディングを設定することで, ホストのポートをDocker内のポートに接続することができる

マウント

• デフォルトではコンテナが削除されるとファイルも削除される
• バインドマウントはホストのファイルをコンテナにマウントする
• ボリュームはDockerが管理するファイルをコンテナにマウントする
  • ホスト側からは (基本的に) 見えない
  • コンテナに最適化されたファイルシステムなので, パフォーマンスが良い

docker-compose.yml

• docker-compose.ymlファイルにコンテナ起動の際の設定を記述することができる
• 複数のコンテナを起動することもできる

services:
  rstudio:
    build:
      context: .
    environment:
      - TZ=Asia/Tokyo
      - DISABLE_AUTH=true
    volumes:
      - .:/home/rstudio/handson2

Handson: RStudio Server

1. 新しいHandson用ののディレクトリを作成する (handson2)
2. Dockerfileを作成しFROM rocker/rstudioと記述する
3. 以下のdocker-compose.ymlと.devcontainer/devcontainer.jsonを作成する

services:
  rstudio:
    build:
      context: .
    environment:
      - TZ=Asia/Tokyo
      - DISABLE_AUTH=true
    volumes:
      - .:/home/rstudio/handson2

{
    "name": "${localWorkspaceFolderBasename}",
    "dockerComposeFile": "../docker-compose.yml",
    "service": "rstudio",
    "remoteUser": "rstudio",
    "forwardPorts": [8787],
    "workspaceFolder": "/home/rstudio/handson2"
}

4. VSCodeでCtrl-Shift-PからRebuild and Reopen in Containerを選択する
5. ブラウザでlocalhost:8787にアクセスする

Rパケージのインストール

以下のようなDockerfileでコンテナの中にRパッケージをインストールできる

FROM rocker/rstudio

RUN R -e "install.packages(c('here', 'modelsummary', 'janitor'))"

しかしこの方法はいくつかの問題がある

• パッケージのバージョンを指定しているわけではない
• パッケージを追加するごとにDockerfileを書き換える必要がある
• ビルドのたびにパッケージをインストールするので時間がかかる
• コンテナごとにパッケージをインストールするのでストレージを圧迫する

これらはrenvのキャッシュをDocker Volumesに保存することで解決できる

Handson: RStudio Server with renv

1. ホスト側でrenv用のDocker Volumeを作成する
   • docker volume create renv
2. docker-compose.yml, Dockerfileを以下のように書き換える
   • chownでrenvディレクトリの所有者をrstudioにしている

services:
  rstudio:
    build:
      context: .
    environment:
      - TZ=Asia/Tokyo
      - DISABLE_AUTH=true
    volumes:
      - .:/home/rstudio/handson2
      - renv:/home/rstudio/.cache/R/renv

volumes:
  renv:
    external: true      

FROM rocker/rstudio

RUN R -e "install.packages('renv')"

RUN cd /home/rstudio && \
    mkdir .cache .cache/R .cache/R/renv && \
    chown rstudio:rstudio .cache .cache/R .cache/R/renv

3. VSCodeでCtrl-Shift-PからRebuild and Reopen in Containerを選択する
4. RStudioでプロジェクト作成し, renvを用いてパッケージを記録する

Handson: kazuyanagimoto/dockerR

管理者編

1. kazuyanagimoto/dockerRをテンプレートにGitHubのレポジトリを作成する
2. 作成したレポジトリをクローンする
3. Dockerfile, docker-compose.yml, .devcontainer.json を修正する.
   • Python, Julia, TinyTeXなど今回関係ないものは削除する
4. Docker Volumeが作られていることを確認する
5. VSCodeでRebuild and Reopen in Containerを選択する
6. RStudioでプロジェクトを作成し, renvを用いてパッケージをインストールする

Handson: kazuyanagimoto/dockerR

共著者編

1. kazuyanagimoto/rabootcamp-docker-2023をクローンする
2. Docker Volumeが作られていることを確認する (今回は必要ない)
3. VSCodeでRebuild and Reopen in Containerを選択する
4. Rプロジェクトを開き, renv::restore() を実行して必要なパッケージをインストールする
5. index.qmd を開き, Ctrl-Shift-Kでスライドがビルドされることを確認する

より詳しい使い方はZenn記事 を参考のこと

Docker Desktop for Windows/Mac

DockerはLinux上の技術

• Docker Desktop for Windows/Macでは, 仮想マシン上のLinuxを用いてDockerを使う
• WindowsはWSL2という軽量かつ高速なLinuxエミュレータを用いる
• Mac上のDockerは一般にLinux上のDockerよりも数段遅くなる

ファイルシステムの違い

• Windows/Mac上のファイルをDocker (Linux) で用いようとするとファイルの変換作業が必要
• Windowsの場合はWSL2の領域でファイルを保存すれば解決する
• Macの場合は長らく解決策がなかったが, virtiofsという新しいファイルシステムを用いることで高速化した (らしい)

発展: Docker on AWS